NorthCUA Technical Report: Turbocharging Computer-Use Agents through Experience at Scale
NorthCUA：通过大规模经验飞轮加速计算机使用代理
🧭 Agent 经验飞轮与强化学习
Shanghai Qiji Zhifeng Co., Ltd.
用经验飞轮、分级学习与桌面-网页联合强化学习，训练出开源SOTA的计算机使用代理模型族
📌 工作参考价值（4 点）
- 借鉴经验飞轮机制：在电商/搜索推荐 agent 中，将用户交互轨迹作为经验，通过结果校验（转化、点击、任务完成）筛选高质量轨迹，持续扩充训练数据，形成数据闭环。
- 对未成功任务采用递归自改进：保存已验证的里程碑，让后续尝试在已有进展上继续。适合长程多轮推荐/导购场景，避免每次从零开始，提升任务完成率。
- 分级学习策略：先 mid-training 注入 grounding 数据（如商品/页面结构化信息）建立基础能力，再 long-horizon SFT 学习完整任务轨迹，最后用在线 RL 在真实环境中闭环优化。可复用为：领域继续预训练 → 人工标注 SFT → 在线策略迭代。
- Ultrafast 的思路：直接动作选择与开放生成结合，在低延迟场景（实时推荐、搜索响应）可用混合解码策略，牺牲少量质量换取显著响应速度。